Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution
克服先验障碍：长尾分布下的监督微调
🧭 LLM SFT 数据选择 · 先验障碍 ★ 深度解读
Virginia Tech · Amazon · Meta · MBZUAI · Dartmouth College
提出 prior barrier 概念与 PASS 方法，自适应分配 SFT 预算以克服长尾预训练支持差异
📌 工作参考价值（4 点）
- 指令微调前，先对业务指令/参考集做 response embedding 聚类，形成 capability/concept 粒度；用预训练模型在各 concept 上生成响应，估计 support 和 prior barrier，优先给生成差且混淆多的类目分配 SFT 预算，避免按任务均分。
- 样本打分建议从 query 相似度升级为「正确响应 vs 竞争响应」的区分证据：用正确与错误/易混淆 response 表示构建 evidence matrix，选样时同时惩罚语义重复和有害/竞争样本，适合电商客服、商品导购 Agent 中意图边界模糊的场景。
- 该方法采用边际增益贪心，计算成本低于 LESS/TSDS，适合大规模候选 prompt 库筛选；对已有 LoRA SFT 流程可直接插入，用于提升长尾品类/任务能力。
- 即使不用完整 PASS，也可借鉴「先验障碍 + 自适应分配」思路：训练前用少量 reference 测模型各能力的 base 表现，按 head/tail 设置差异化数据配额。